边缘计算
Ministral 3B/8B
Ministral 3B 和 8B 是由 Mistral AI 开发的两款轻量级 AI 模型,专为设备端和边缘计算设计。它们具备强大的知识处理能力和高效的上下文管理能力,支持长达 128k 的上下文长度,并通过独特的交错滑动窗口注意力机制提升了推理速度。这些模型适用于设备端翻译、本地数据分析、智能助手及自主机器人等领域,同时支持无损量化和私有部署。
DistilQwen2
DistilQwen2 是一款基于 Qwen2 大模型优化的轻量级语言模型,通过知识蒸馏技术提高运算效率并降低部署成本。其主要特点包括增强指令遵循能力、轻量级部署、高效运算及多语言支持。DistilQwen2 在知识蒸馏、任务感知课程规划、指令数据优化等方面进行了深入研究,并广泛应用于移动设备、边缘计算、客户服务、内容创作和教育技术等领域。
OmniVision
OmniVision是一款面向边缘设备的紧凑型多模态AI模型,参数量为968M。它基于LLaVA架构优化,能够处理视觉与文本输入,显著降低计算延迟和成本。OmniVision支持视觉问答、图像描述等功能,广泛应用于内容审核、智能助手、视觉搜索等领域。